Évaluer les LLM, un défi : le cas Hugging Face | Silicon

ARC, HellaSwag et MMLU, encore pertinents pour évaluer des LLM ? Hugging Face suggère que non.

L’éditeur considère que ces trois benchmarks sont arrivés à saturation. En d’autres termes, ils sont devenus « trop simples », certains modèles atteignant le niveau de performance de l’humain.

Dans ce contexte, Hugging Face a revu les fondements de son leaderboard des LLM. D’autres éléments l’y ont poussé. Parmi eux, des modèles montrant des signes de contamination. C’est-à-dire semblant avoir été (sur)entraînés sur des données contenues dans des benchmarks ou sur des données très proches. Un phénomène constaté en particulier sur TruthfulQA et GSM8K. Ce dernier présentait par ailleurs un facteur désavantageant pour beaucoup de LLM verbeux : l’emplo...
[Courte citation de 8% de l'article original]